🦊Face Swap

前/

face swap(顔の入れ替え)はdeepfakeとして何年も前から存在します

ただし当時は同じ人間の顔が何百枚と必要でした

しかし、今では性能を多少犠牲にする代わりに数枚、もしくは1枚でface swapが行えるようになりました

ReActor.iconReActor

1枚の画像でのface swapはInsightFaceという技術が現在ベースラインになっています

それを使いやすくしたのがroop、そのroopが開発を終了してしまったため、それを引き継いだのがこのReActorです

🪢カスタムノード

https://gyazo.com/1a0a81f044bd264db835ef99d40a37d1

InsightFaceは128 × 128というかなり低解像度の画像を生成します

(256×256、512×512も存在するが、社会的な影響を考え開発者によって封印されている)

そのため、GFPGANやCodeFormerといった顔特化のアップスケーラーで解像度を上げるのですが、顔のディテールが減りかなりのっぺらとしてしまいます

🥴IP-Adapterとその派生

🦊IP-Adapterは画像を渡して、それを参考に絵を描いてもらう手法のひとつですが、顔に特化させたモデル・技術があります

顔に特化したIP-Adapterモデルip-adapter-plus-face

上のInsightFaceを取り入れたIP-Adapter-FaceID

その技術と取り入れたPhotoMaker、InstantID

正確にいえばこれらは、渡された画像と同じ顔の画像を生成するものですが、顔のみのinpaintingを行えば実質face swapとして扱うことができます

🤝組み合わせる

😚deepfake以外の使い方